Useful Diversity or Hallucinated Variety? Persona-Conditioned Synthetic Query Generation for E-Commerce Search
人物画像条件化电商搜索合成查询:有用多样性与幻觉式多样性
🧭 合成查询生成 · 语义解析 ★ 深度解读
Manchester Metropolitan University · Autotrader UK
用4轴persona prompt生成11.8万合成查询,Big Five人格稳定提parser F1且低幻觉,句法轴贴真实流量但牺牲约束保真
📌 工作参考价值(4 点)
- 冷启动 NL 搜索解析器时,把 Big Five 人格线索加入生成 prompt(如 conscientiousness 明确标记约束、neuroticism 添加犹豫)作为默认,可稳定提升下游 tuple F1;不要用 prompt 删 function word / stopword,因为电商约束字段的 operator 词(under/within/from)承担语义,删掉会导致 dropped constraints。可加后处理校验 operator 是否保留。
- 评估合成训练数据质量时,不要只看 Distinct-n / Self-BLEU,它们与下游效用无关;用 embedding 云拟合 vMF 分布并计算与 held-out 人工参考的 sKL,可无标签代理 parser F1(ρ=-0.917)。生产环境若无标注,可用真实 query 流量分布做 realism 监控。
- 对“所有模型都解析失败”的困难样本做 LLM 委员会审计,能分类幻觉类型(dropped constraint / unsupported addition / direction reversal)。工程上可写自动规则检查价格/里程/半径等 operator 和方向,上线前过滤或修复。
- 多 generator 风格差异很大,某些 LLM 会把 persona 中的城市/价格偏好泄漏进 query;要按 generator 审计。混合多个 prompt 家族均匀采样训练的 mixed corpus 与最佳单 prompt 统计无差,可直接采用降低选型成本。